Ví dụ Hàm_softmax

Nếu chúng ta có một đầu vào [1, 2, 3, 4, 1, 2, 3], các softmax đó là [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]. Đầu ra có trọng số cao nhất là giá trị '4' nằm trong vec tơ đầu vào. Đây là ví dụ về cách thông thường mà hàm softmax được sử dụng: để làm nổi bật giá trị lớn nhất và làm mờ các giá trị bé hơn đáng kể so với giá trị lớn nhất.

Sau đây là ví dụ về phép tính này bằng một đoạn mã Python đơn giản:

>>> import math>>> z = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]>>> z_exp = [math.exp(i) for i in z]>>> print([round(i, 2) for i in z_exp])[2.72, 7.39, 20.09, 54.6, 2.72, 7.39, 20.09]>>> sum_z_exp = sum(z_exp)>>> print(round(sum_z_exp, 2))114.98>>> softmax = [round(i / sum_z_exp, 3) for i in z_exp]>>> print(softmax)[0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]